Umar terus tinggal di Madinah sepanjang pemerintahan Khalifah Al-Walid dan Khalifah Sulaiman. Khalifah Sulaiman yang juga merupakan sepupu Umar amat mengaguminya dan melantik Umar sebagai penggantinya walaupun ditentang oleh saudara terdekatnya. Umar dengan berat hati menerima jawatan ini walaupun mencuba beberapa kali untuk mengubah keputusan Khalifah Sulaiman. Umar tidak mementingkan kekayaan dan kemegahan dan memilih untuk hidup dalam kesederhanaan[2].

Walaupun mendapat sokongan yang tidak berbelah bahagi rakyat, beliau menggalakkan rakyat supaya memilih khalifah yang baru sekiranya mereka tidak berpuas hati dengan pemerintahannya. Beliau membahagikan tanah jajahan Ummayyah kepada rakyat dan amat jarang menerima hadiah kerana takut dirasuah. Beliau juga mendesak kaum keluarganya supaya mendermakan barang kemas kepada perbendaharaan awam.